在有限样本条件下，OLS估计的一系列优良特性都是建立在严格的古典假定上。显然，在现实生活中，严格的古典假定并不一定满足。大样本性质 就是在残差不服从正态分布这一经典假定条件下，利用大数定律和中心极限定理对估计量渐近性质的讨论。

大样本OLS估计的推导和性质

大样本理论的重要性在于：

• 小样本理论的假设过强
• 在小样本下，我们必须研究统计量的精确分布，但常常难以推导
• 使用大样本理论的代价是要求样本容量较大，一般要求至少n>30。而现在数据量越来越大，渐近理论就是对实际数据很好的近似。

一致估计量的证明

我们的目标是证明大样本下，利用OLS估计的方法得到的$\beta$仍然是服从渐近正态分布。

大样本性质的推导不依赖于残差项服从正态分布的假设，它仅仅假定$(x_i,\epsilon_i)$是一个相互独立的观测序列。并且有以下条件成立：

• $\lim_{n\rightarrow \infty}P( \frac{XX’}{n}=Q)$是一个正定的矩阵

• $\lim_{n\rightarrow \infty} P(\frac{X’\epsilon}{n}=E(x’\epsilon)=0)$

在总体方程$y=x\beta+\epsilon$两边同乘$x’$并取期望，得到

$$E(x'y)=E(xx')\beta\Rightarrow \beta=[E(x'x)]^{-1}E(x'y)$$

根据样本距代替总体矩的思想，有：

$$b=[\frac{1}{n}\Sigma_{i=1}^n x_i^{'}x_i]^{-1}(\frac{1}{n}\Sigma_i^n x_i^{'}y_i)=(\frac{X'X}{n})^{-1}(\frac{X'Y}{n})=\beta+(\frac{X'X}{n})^{-1}(\frac{X'\epsilon}{n})$$

上式两边取极限，结合已知条件,有：

$$\begin{equation} \lim_{n\rightarrow \infty} b=\beta+ Q^{-1}(\frac{X'\epsilon}{n})=\beta \end{equation}$$

所以当$n \rightarrow \infty$时，b的期望等于$\beta$，至于方差需要进一步证明它渐近趋于0。

OLS估计的渐近正态性证明

在同方差假设下，根据林德伯格-列维中心极限定理，有：

$$\begin{equation} \frac{1}{\sqrt{n}}X'\epsilon \overset{d}{\rightarrow} N(0,\sigma^2Q) \end{equation}$$

这是因为$var(\frac{1}{\sqrt{n}}X’\epsilon)=\frac{1}{\sqrt{n}}X’ \sigma^2 X\frac{1}{\sqrt{n}}$，而正态性由中心极限定理保证。

由(1)式和(2)式知，当n趋于无穷大时，有

$$\sqrt{n}(b-\beta)=Q^{-1}\frac{1}{\sqrt{n}}X'\epsilon \overset{d}{\rightarrow} N(0,Q^{-1} (\sigma^2Q)Q^{-1})=N(0,\sigma^2 Q^{-1})$$

总体方差的估计

在上面的推导中，假设$\sigma^2$已知，但实际中往往还需要计算样本方差$s^2$来近似总体方差。

由于$\beta=(X’X)^{-1}XY$，所以残差$\epsilon=y-X\beta=y-x(X’X)^{-1}Xy$

$$\begin{array}{ll} s^2 & =\frac{1}{n-k}\epsilon'M\epsilon \\ & =\frac{1}{n-k}[\epsilon'\epsilon-\epsilon'X(X'X)^{-1}X'\epsilon] \\ & =\frac{n}{n-k}[\frac{\epsilon'\epsilon}{n}-(\frac{\epsilon'X}{n})(\frac{X'X}{n})^{-1}(\frac{X'\epsilon}{n})] \end{array}$$

当$n \rightarrow \infty$时，$s^2 \rightarrow \frac{\epsilon’\epsilon}{n}$，因此可以用$s^2$近似$\sigma^2$，所以有:

$$\lim_{n\rightarrow \infty} s^2(\frac{X'X}{n})^{-1}=\sigma^2Q^{-1}$$

---

• ← Previous Post
• Next Post →